V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning
V-Zero:无需答案标签的在线策略蒸馏与对比证据门控细粒度视觉推理框架
🧭 视觉推理 · 无监督蒸馏
Sichuan University · Xi'an Jiaotong University · TeleAI of China Telecom · Peking University
将在线策略蒸馏重新解释为负例无关的stop-gradient对齐,并提出对比证据门控解决轨迹级判别缺失,显著提升细粒度视觉推理效率
📌 工作参考价值(4 点)
- 在线策略蒸馏(OPD)替代标注:在商品图文理解、多模态推荐 Agent 中,可借鉴 OPD 让 MLLM 从自身生成的推理轨迹中学习,彻底摆脱人工标注答案标签的依赖,大幅降低标注成本。
- 对比证据门控机制:用问题相关的区域裁剪(正例)与无关区域(负例)构成视觉对比对,自动评估推理轨迹质量并门控 token 级蒸馏。可用于电商详情页细粒度问答、广告图文一致性校验等场景,提升模型对局部证据的利用能力。
- 训练效率跃升:V-Zero 比 SFT 方法快 5 倍以上,比 RL 基线快 10 倍以上,直接节省计算资源。在搜索推荐 Agent 的视觉子任务训练中,可优先考虑此类免探索、免标注的高效蒸馏方案。
- 与 Agent 框架的集成:方法天然适合 Agent 的多步推理,可将对比证据门控作为内部信号,指导 Agent 在搜索、推荐过程中更精准地聚焦可解释的视觉证据,并实现自我改进。